Như thông tin ở trên, Linh Hựu quán dựng từ năm Minh Mạng thứ 10 (1829). Sau Trận Kinh thành Huế 1885, quân đội Pháp đánh chiếm khu vực quán tọa lạc và một số công trình khác của triều đình. Lúc bấy giờ, một đội bộ binh Pháp đến đóng ở quán, và họ gọi quán này là Pagode des chasseurs [3].

Đến năm 1886, Toàn quyền Paul Bert với sự tham mưu của Trương Vĩnh Ký lại ép triều Đồng Khánh nhượng tiếp khu đất nằm giữa Trấn Bình đài và Linh Hựu quán để thực dân Pháp xây dựng thêm doanh trại, đồn bót, nhà thương, kho hậu cần...Vì thế, quán bị phá bỏ. Lúc bấy giờ có một số dân theo đạo Thiên Chúa ở thôn Cự Lại (vùng Thuận An) lên sinh sống chung quanh doanh trại Pháp ở khu Mang Cá. Lấy lý do giúp đỡ những giáo dân nầy về mặt tôn giáo, linh mục Eugène Marie - Joseph Allys (1852-1936) xin cất một nhà thờ trên đất Linh Hựu quán để giáo dân "có nơi đọc kinh sớm tối, lễ lạc Chúa nhật". Nhưng vì luật lệ của Triều đình cấm xây dựng nhà thờ Thiên Chúa giáo trong Kinh thành nên chuyện không thành.

Về sau dưới triều Thành Thái - Duy Tân, do sự vận động của Thượng thị vệ Ngô Đình Khả (1857-1923), một nhà thờ Thiên Chúa giáo được xây dựng trên phần đất của Linh Hựu quán. Theo sách Nhân vật giáo phận Huế (tập 1), nhà thờ ấy "chỉ được lợp tranh tre" mà thôi [4].

Sau ngày quân Pháp trở lại xâm chiếm Việt Nam lần thứ hai, năm 1950, nhà thờ trên được cải tạo và nâng cấp lên thành nhà thờ họ đạo Cầu Kho.

Dưới thời Tổng thống Ngô Đình Diệm, nhà thờ họ đạo này được triệt phá để xây dựng trường Trung học tư thục Tín Đức (ngày nay là Trường THCS Thuận Lộc) do dòng La San quản nhiệm. Năm 1962, một nhà thờ mới được xây dựng cũng nằm trên đất của Linh Hựu quán nhưng tại một vị trí khác, quay mặt ra đường Thái Phiên thay thế nhà thờ cũ, và lấy tên là nhà thờ Tây Linh (tức nhà thờ Tây Linh thuộc phường Thuận Lộc ngày nay) [5].